iT邦幫忙

2024 iThome 鐵人賽

DAY 7
0
生成式 AI

跟著 OXXO 一起玩 Poe AI、Recraft.ai 和 Ideogram系列 第 7

( Day 7 ) Poe AI + GTP-4o 或 GPT-4o-mini 分析圖片

  • 分享至 

  • xImage
  •  

這篇教學會運用 Poe AI 裡的 OpenAI GPT-4o 和 GPT-4o-mini 機器人,讀取本機圖片或網路上的圖片,進行圖片的分析,進一步撰寫產生類似圖片的提示詞,甚至可以讀取具有圖表的圖片,分析圖表內容轉換成表格呈現。

原文參考:GTP-4o 或 GPT-4o-mini 分析圖片

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片

認識 GPT-4o 和 GPT-4o-mini

GPT-4o 是 OpenAI 在 2024 年中所推出最強大的語言模型,不僅資料庫更新至 2023 年 10 月,更能讀取網頁和圖片進行分析,而 GPT-4o-mini 雖然屬於 GPT-4o 的小型模型,卻也同樣具備讀取網頁和分析圖片的功能,還具有速度快、費用低、跨平台等優勢,就算參數量不如 GPT-4o,卻更適合一般人使用。

GPT-4o GPT-4o-mini
每則訊息費用 300 15
讀取網頁 可以 可以
讀取圖片 可以 可以
速度 普通
語意理解與回覆能力 極佳

Official bot 官方機器人裡可以看見 GPT-4o 和 GPT-4o-mini 機器人,由於 GPT-4o 每則訊息費用高達 300,通常直接使用 GPT-4o-mini 就能處理所有問題 ( 如果有進階需求就另當別論 ),點擊機器人就可以開始和機器人聊天。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - GPT-4o 和 GPT-4o-mini 機器人

從機器人資訊中可以看到兩者的消耗的 Poe 代幣差了 20 倍。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 消耗的 Poe 代幣差了 20 倍

讀取圖片內容

對於一般使用者來說,各種大型語言模型機器人都大同小異,但 GPT-4o 和 GPT-4o-mini 卻能讀取上傳的圖片內容或網路圖片內容,下方範例使用 GPT-4o-mini 機器人,上傳一張「我就讚」的經典迷因圖片,並詢問機器人這張圖片是什麼內容 ( 使用 GPT-4o 也是相同的做法,但因為消耗的 Poe 代幣太高,所以使用 GPT-4o-mini )。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 上傳一張「我就讚」的經典迷因圖片

初次使用時,有可能會遇到類似下圖,機器人回應「不知道是什麼」的狀況,通常只要改變問句方式就能解決

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 機器人回應「不知道是什麼」

嘗試修改問句的結構,將問題改成「幫我描述這張圖片的主題或場景」,GPT-4o-mini 機器人就會分析圖片並回答,結果也相當準確。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 修改問句結構

換成寶可夢的動漫角色,GPT-4o-mini 竟然也能精準的描述出正確的名字和構圖。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 精準的描述出正確的名字和構圖

使用網址讀取圖片

除了使用上傳的功能上傳圖片,由於 GPT-4o-mini 具有讀取網址的功能,也可以直接提供圖片網址,搭配「幫我描述這張圖片的主題或場景」提示詞,讀取圖片內容,範例使用 STEAM 教育學習網的一張圖片,GPT-4O-mini 機器人可以精準讀取內容。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 直接提供圖片網址

撰寫產生類似圖片的提示詞

既然能夠讀取圖片內容,就能運用 GPT-4o-mini 協助撰寫「產生圖片的提示詞」,下方範例上傳了「我就讚」的迷因圖片,並使用「根據這張圖片的主題和場景,撰寫一段要透過 AI 產生類似圖片的中英文提示詞」作為提示,機器人就會撰寫產生類似圖片的提示詞。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 產生圖片的提示詞

運用 Poe AI 的 Playground v2.5 機器人 ( 參考 Poe 生成圖片機器人 ),貼上剛剛產生的提示詞,就會產生一張類似的圖片。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 貼上剛剛產生的提示詞,就會產生一張類似的圖片

快速重點整理圖片內容

運用 CPT-4o-mini 強大的圖取圖片能力,如果遇到「看不懂」的說明文字,也可以拍照上傳請機器人進行分析和重點整理,舉例來說,下圖是一張日本神戶動物世界的說明標語。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 遇到「看不懂」的說明文字

上傳圖片後,使用「請協助分析這張圖片所描述的內容,並用中文進行重點整理描述」提示詞,機器人就會分析圖片內容,並進行中文的重點整理。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 分析圖片內容,並進行中文的重點整理

除了辨識文字,GPT-4o-mini 機器人甚至可以讀取圖表,將圖表轉換成表格呈現,下圖是 2024 台灣總統大選最後的票圖表。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 讀取圖表,將圖表轉換成表格呈現

上傳圖片後,使用「請協助解析這張圖表,並用表格方式呈現」提示詞,機器人就會分析圖片內容,擷取出圖表的部分進行整理。

Poe 教學 - GTP-4o 或 GPT-4o-mini 分析圖片 - 讀取圖表,將圖表轉換成表格呈現

小結

GPT-4o 和 GPT-4o-mini 讀取和分析圖片的能力非常好用,除了產生產生類似圖片的提示詞,更能真正分析圖片內容,協助使用者快速處理圖片裡的資訊,這也是未來應用 AI 的一大重點!

更多教學

大家好,我是 OXXO,是個即將邁入中年的斜槓青年,我有個超過一千三百篇教學的 STEAM 教育學習網,有興趣可以參考下方連結呦~ ^_^


上一篇
( Day 6 ) Poe AI - PDF 文件重點整理
下一篇
( Day 8 ) Poe AI 讀取網站並進行重點整理
系列文
跟著 OXXO 一起玩 Poe AI、Recraft.ai 和 Ideogram10
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言